实、复内积空间 与 奇异值分解、广义逆

发表于

实内积空间

  • 定义：设 V 是实数域 R 上的线性空间，如果对 V 中任意向量 $\alpha$ 与 $\beta$，在 R 中都有唯一的实数与之对应，记作 $(\alpha, \beta)$，并对任意的$\alpha, \beta, \gamma \in V, k \in R$，这对应具有性质：
    • (1)$(\alpha, \beta) = (\beta, \alpha)$
    • (2)$(k \alpha, \beta) = k(\alpha, \beta)$
    • (3)$(\alpha + \beta, \gamma) = (\alpha, \gamma) + (\beta, \gamma)$
    • (4)$(\alpha, \alpha) \geq 0$ 当且仅当 $\alpha = 0$，$(\alpha, \alpha) = 0$
    • 则称这对应是 V 的一个内积，具有这种内积的线性空间称为实内积空间或欧几里得(Euclid)空间

  • 例如：在线性空间 $R^n$ 中，对于向量 $\alpha = (a_1, a_2, …, a_n), \beta = (b_1, b_2, …, b_n)$，定义 $(\alpha, \beta) = a_1 b_1 + a_2 b_2 + … + a_n b_n$. 容易验证 $(\alpha, \beta)$ 是空间 $R^n$ 的一个内积，$R^n$ 是一实内积空间(常用的内积定义)

  • 又例如：设 C[a, b] 是 [a, b] 上实连续函数构成的线性空间，对于 f(x), g(x)，定义 $(f(x), g(x)) = \int_a^b f(x)g(x)dx$，是空间 C[a, b] 的一个内积，因而 C[a, b] 是一个实内积空间

实内积空间 V 中的内积具有的基本性质：

  • (1)$(\alpha, k \beta) = k(\alpha, \beta)$
  • (2)$(\alpha, \beta + \gamma) = (\alpha, \beta) + (\alpha, \gamma)$
  • (3)$(\alpha, 0) = (0, \beta) = 0$

  • (4)$(\sum\limits_{i=1}^m k_i\alphai, \sum\limits{i=1}^n l_j\betaj) = \sum\limits{i=1}^m\sum\limits_{j=1}^n k_i l_j(\alpha_i, \beta_j)$

  • 定义：设 $\alpha$ 是实内积空间的一个向量，则称非负实数 $\sqrt{(\alpha, \alpha)}$ 是向量 $\alpha$ 的长度，记作 $|\alpha| = \sqrt{(\alpha, \alpha)}$

$|\alpha| = 1$，则 $\alpha$ 称为单位向量；$|\alpha| = 0$ 的充要条件是 $\alpha$ 是零向量

  • 定理：对实内积空间 V 中任意两个向量 $\alpha, \beta$，恒有不等式 $|(\alpha, \beta)| \leq |\alpha||\beta|$(柯西-彭雅斯基不等式)成立. 即，当 $\alpha, \beta$ 线性相关时，$|(\alpha, \beta)| = |\alpha||\beta|$；当 $\alpha, \beta$ 线性无关时，$|(\alpha, \beta)| < |\alpha||\beta|$

  • 定义：设 $\alpha, \beta$ 是实内积空间的两个非零向量，则 $\alpha$ 与 $\beta$ 的夹角 $\theta$ 的余弦规定为 $\cos\theta = \frac{(\alpha, \beta)}{|\alpha||\beta|}$

  • 定义：设 $\alpha, \beta$ 是实内积空间的两个向量，若 $(\alpha, \beta) = 0$，则称 $\alpha$ 与 $\beta$ 正交. 记作 $\alpha \perp \beta$

两个非零向量正交的充要条件是它们之间的夹角 $\theta = \frac{\pi}{2}$
规定零向量与任意向量正交

  • 定义：设 $\alpha_1, \alpha_2, …, \alpha_n$ 是n维实内积空间 V 的基，若它们都是单位向量，而又两两正交，即 $$(\alpha_i, \alphaj) = \delta{ij} = \begin{cases} 0, i \not= j \ 1, i = j \end{cases}$$ 则称 $\alpha_1, \alpha_2, …, \alpha_n$ 是 V 的标准正交基

  • 例如：n维实内积空间 $R^n$ 中的自然基 $e_1 = (1, 0, …, 0), e_2 = (0, 1, …, 0), …, e_n = (0, 0, …, 1)$ 就是一组标准正交基

  • 定理：设 $\alpha_1, \alpha_2, …, \alpha_m$ 是实内积空间 V 中两两正交的非零向量，且 $|\alpha_i| = 1(i = 1, 2, …, m)$，则 $\alpha_1, \alpha_2, …, \alpha_m$ 线性无关，而且对于 V 中任意向量 $\alpha$，向量 $\beta = \alpha - (\alpha, \alpha_1)\alpha_1 - (\alpha, \alpha_2)\alpha_2 - … - (\alpha, \alpha_m)\alpha_m$ 正交于每一个 $\alpha_i(i = 1, 2, …, m)$

  • 定理：设 $\alpha_1, \alpha_2, …, \alpha_n$ 是n维实内积空间 V 的任意基，则必存在 V 的标准正交基 $\gamma_1, \gamma_2, …, \gamma_n$，使 $\alpha_1, \alpha_2, …, \alpha_n$ 到 $\gamma_1, \gamma_2, …, \gamma_n$ 的过渡矩阵是三角形矩阵，即 $\gammai = a{i1}\alpha1 + a{i2}\alpha2 + … + a{ii}\alpha_i(i = 1, 2, …, n)$

  • 定理：设 $e_1, e_2, …, e_n$ 是实内积空间 V 的一组标准正交基，而且 $(f_1, f_2, …, f_n) = (e_1, e_2, …, e_n)Q$，则 $f_1, f_2, …, f_n$ 是 V 的标准正交基的充要条件是，Q具有性质 $Q^TQ = E$

若方阵满足 $Q^TQ = E$，则称Q是正交矩阵. 显然其行列式为 $\pm 1$
Q是 $m*n$ 矩阵，若 $Q^TQ = E$，则称Q是具有标准正交列的矩阵

  • 定义：设 V 与 W 是两个实内积空间，如果存在 V 到 W 的 1-1 而且映上的映射 $\sigma$，并且对于任意的 $\alpha, \beta \in V, k \in R$，具有性质：
    • (1)$\sigma(\alpha + \beta) = \sigma(\alpha) + \sigma(\beta)$
    • (2)$\sigma(k \alpha) = k \sigma(\alpha)$
    • (3)$(\sigma(\alpha), \sigma(\beta)) = (\alpha, \beta)$
    • 则称 $\sigma$ 为 V 到 W 的同构映射，而称 V 与 W 同构，记作 $V \cong W$

  • 定理：两个有限维实内积空间同构的充要条件是它们的维数相等

  • 定义：设 $V_1, V_2$ 是实内积空间 V 的两个子空间，若对任意的 $\alpha \in V_1, \beta \in V_2$，恒有 $(\alpha, \beta) = 0$，则称 $V_1$ 与 $V_2$ 互为正交，记作 $V_1 \perp V_2$. V 中的一个向量 $\alpha$，若对任意的 $\beta \in V_1$，恒有 $(\alpha, \beta) = 0$，则恒称 $\alpha$ 与 $V_1$ 正交，记作 $\alpha \perp V_1$

  • 定理：若子空间 $V_1, V_2, …, V_s$ 两两相交，则 $V_1 + V_2 + … + V_s = V_1 \bigoplus V_2 \bigoplus \bigoplus … \bigoplus V_s$

  • 定义：设 $V_1, V_2$ 是实内积空间 V 的两个子空间，若 $V_1 \perp V_2$，且 $V = V_1 + V_2$，则称 $V_2$ 是 $V_1$ 的正交补

  • 定理：n维实内积空间 V 的每一个子空间 W 都有唯一的正交补

子空间 W 的正交补用 $W^{\perp}$ 表示

  • 推论：$W^{\perp}$ 是所有与 W 正交的向量组成的，即 $W^{\perp} = {x \in V | x \perp W}$

实内积空间的线性变换

  • 引理：设 $\psi$ 是n维实内积空间 V 到实数域 R 的一个同态映射，则 V 中存在一个唯一向量 $\beta$，使对任意 $\alpha \in V$，有 $\psi(\alpha) = (\alpha, \beta)$

  • 定理(共轭变换的存在定理)：设 $\sigma$ 是n维实内积空间 V 的线性变换，则存在 V 的唯一线性变换 $\sigma^{}$，使对任意 $\alpha, \beta \in V$，有 $(\sigma(\alpha), \beta) = (\alpha, \sigma^{}(\beta))$，而且对 V 的任意一组标准正交基，若 $\sigma$ 对应矩阵A，则 $\sigma^{*}$ 对应 $A^T$

  • 定义：设 $\sigma$ 是n维实内积空间 V 的线性变换，如果存在 V 的线性变换 $\sigma^{}$，使对 V 中任意向量 $\alpha, \beta$，有 $(\sigma(\alpha), \beta) = (\alpha, \sigma^{}(\beta))$，则称 $\sigma^{}$ 是 $\sigma$ 的共轭变换或*伴随变换

当 V 为有限维时，它的每一个线性变换都有唯一的共轭变换

共轭变换的基本性质：

  • (1)$(\sigma^)^ = \sigma$
  • (2)$(\sigma + \tau)^ = \sigma^ + \tau^*$
  • (3)$(k\sigma)^ = k\sigma^$

  • (4)$(\sigma \tau)^ = \tau^ + \sigma^*$

  • 定义：设 $\sigma$ 是n维实内积空间 V 的一个线性变换，若对任意 $\alpha, \beta \in V$，$(\sigma(\alpha), \sigma(\beta)) = (\alpha, \beta)$，则称 $\sigma$ 是 V 的一个正交变换

  • 定理：设 $\sigma$ 是n维实内积空间 V 的一个线性变换，则以下提法等价：

    • (1)$\sigma$ 为正交变换
    • (2)$\sigma^$ 为 $\sigma$ 的逆变换，即 $\sigma^ = \sigma^{-1}$
    • (3)$\sigma$ 在任意标准正交基 $e_1, e_2, …, e_n$ 下的矩阵A为正交矩阵，即 $A^T = A^{-1}$
    • (4)$\sigma$ 把标准正交基仍变为标准正交基
    • (5)$\sigma$ 保持向量的长度不变，即对 $\alpha \in V, |\sigma(\alpha)| = |\alpha|$

设正交变换在标准正交基下的矩阵为正交矩阵A，显然 $detA = \pm 1$.
若 $detA = 1$，则称 $\sigma$ 为旋转，或为第一类的
若 $detA = -1$，则称 $\sigma$ 为第二类的

  • 定义：设 $\sigma$ 是n维实内积空间 V 的一个线性变换. 若对 V 中任意向量 $\alpha$ 与 $\beta$，$(\sigma(\alpha), \beta) = (\alpha, \sigma(\beta))$，则称 $\sigma$ 是 V 的一个对称变换

  • 若$\sigma$ 是 V 的对称变换，则以下提法等价：

    • (1)$\sigma$ 是对称变换
    • (2)$\sigma = \sigma^*$
    • (3)$\sigma$ 对任意一组标准正交基 $e_1, e_2, …, e_n$ 的矩阵是实对称矩阵

  • 定义：设 $\sigma$ 是n维实内积空间 V 的一个线性变换. 若对 V 中任意向量 $\alpha, \beta$，$(\sigma(\alpha), \beta) = - (\alpha, \sigma(\beta))$，则称 $\sigma$ 是 V 的一个反对称变换

  • 若$\sigma$ 是 V 的反对称变换，则以下提法等价：

    • (1)$\sigma$ 是反对称变换
    • (2)$\sigma^* = \sigma^{-1}$
    • (3)$\sigma$ 对任意一组标准正交基 $e_1, e_2, …, e_n$ 的矩阵是实反对称矩阵

  • 定义：设 W 是n维实内积空间 V 的子空间，因而 $V = W \bigoplus W^{\perp}$，即 V 中每个向量 X 都可唯一分解成以下形式：$$X = Y + Z(Y \in W, Z \in W^{\perp})$$ 若映射 $\sigma : V \rightarrow W$ 定义为 $\sigma(X) = Y$，则称 $\sigma$ 是 V 到 W 的一个正交投影变换. Y 称为向量 X 在子空间 W 上的正交投影或内射影，而 |Z| 称为向量 X 到子空间 W 的距离

若线性变换 $\sigma$ 满足 $\sigma = \sigma^2, \sigma = \sigma^*$，则 $\sigma$ 是正交投影变换

  • 定理：设 $\alpha \in V$，则 W 中向量 $\beta$ 是 $\alpha$ 在子空间 W 上的内射影的充要条件是，对任意 $\xi \in W$，有 $|\alpha - \beta| \leq |\alpha - \xi|$

  • 定理：推广集合空间中点到直线或平面“垂线最短”的命题. 此几何事实可用于解决最小二乘问题

  • 定理：(1)$x^0$ 是 $Ax = b$ 的最小二乘解的充要条件是 $x^0$ 是 $A^TAx = A^Tb$ 的解. (2)若 A 是满列秩矩阵，则 $Ax = b$ 的最小二乘解为 $x^0 = (A^TA)^{-1}A^Tb$

实对称矩阵的标准形

  • 引理：设 $\sigma$ 是n维实内积空间 V 的对称变换，则 $\sigma$ 的特征根都是实数

  • 引理：设 W 是n维实内积空间 V 的对称变换 $\sigma$ 的一个不变子空间，则 W 的正交补 $W^{\perp}$ 仍为 $\sigma$ 的不变子空间

  • 引理：设 $\sigma$ 是n维实内积空间 V 的对称变换，则 V 中属于 $\sigma$ 的不同特征根的特征向量正交

  • 定理：设 $\sigma$ 是n维实内积空间 V 的对称变换，则必存在一组标准正交基，使 $\sigma$ 对这组基的矩阵是实对角形矩阵

复内积空间

  • 定义：设 V 是复数域 C 上的线性空间，如果对 V 中任意向量 $\alpha$ 与 $\beta$，在 C 中都有唯一的复数与之对应，记作 $(\alpha, \beta)$，并且这对应满足以下条件 $(k \in C, \alpha, \beta, \gamma \in V)$
    • (1)$(\alpha, \beta) = \overline{(\beta, \alpha)}$
    • (2)$(k \alpha, \beta) = k(\alpha, \beta)$
    • (3)$(\alpha + \beta, \gamma) = (\alpha, \gamma) + (\beta, \gamma)$
    • (4)$(\alpha, \alpha) \geq 0$，当且仅当 $\alpha = 0$ 时，$(\alpha, \alpha) = 0$
    • 则这对应称为 V 中的一个内积，具有内积的线性空间称为复内积空间或酉空间

  • 例如(通常定义的内积)：在线性空间 $C^n$ 中，对于向量 $\alpha = (a_1, a_2, …, a_n)$ 与 $\beta = (b_1, b_2, …, b_n)$，定义 $(\alpha, \beta) = a_1 \overline{b_1} + a_2 \overline{b_2} + … + a_n \overline{b_n}$，为 $C^n$ 的一个内积，$C^n$ 是一个复内积空间

复内积空间 V 中的内积的基本性质：

  • (1)$(\alpha, k \beta) = \overline{k}(\alpha, \beta)$
  • (2)$(\alpha, \beta + \gamma) = (\alpha, \beta) + (\alpha, \gamma)$
  • (3)$(\alpha, 0) = (0, \beta) = 0$
  • (4)$(\sum\limits_{i=1}^m k_i \alphai, \sum\limits{j=1}^n l_j \betaj) = \sum\limits{i=1}^m \sum\limits_{j=1}^n k_i \overline{l_j}(\alpha_i, \beta_j)$

非负实数 $\sqrt{(\alpha, \alpha)}$ 称为向量 $\alpha$ 的长度，记作 $|\alpha|$
柯西-彭雅可夫斯基不等式仍然成立：对任意向量 $\alpha$ 和 $\beta$，$(\alpha, \beta)(\beta, \alpha) \leq (\alpha, \alpha)(\beta, \beta)$
非零向量 $\alpha$ 与 $\beta$ 的夹角 $\theta$ 规定为 $$\cos^2\theta = \frac{(\alpha, \beta)(\beta, \alpha)}{(\alpha, \alpha)(\beta, \beta)}$$
非零向量 $\alpha$ 与 $\beta$，如果 $(\alpha, \beta) = 0$，那么称 $\alpha$ 与 $\beta$ 正交(可与实内积空间一样定义标准正交基)

矩阵 $Q{nn}$，若 $Q^HQ = E$，则称 Q 为*酉阵
若 $U = U{m*n}$，且 $U^HU = E$，则称 U 是具有标准正交列的矩阵

复内积空间中有类似的共轭变换、埃尔米特变换和酉变换对应实内积空间的共轭变换、对称变换和正交变换，线性变换 $\sigma$ 在标准正交基下的矩阵A，$\sigma$对应变换在此基下的矩阵分别为共轭转置矩阵、埃尔米特矩阵和酉阵

  • 定义：设 $\sigma$ 是n维复内积空间的线性变换，若 $\sigma\sigma^ = \sigma^\sigma$，则 $\sigma$ 称为正规变换或正规算子. 类似的，设 $A \in C^{nn}$，若 $AA^H = A^HA$，则 A 称为*正规矩阵

  • 定理：设 $\sigma$ 是正规变换，则

    • (1)$\sigma(\alpha) = 0$ 的充要条件是 $\sigma^*(\alpha) = 0$
    • (2)$\sigma - \lambda I$ 是正规变换
    • (3)$\sigma$ 的任何特征向量也是 $\sigma^*$ 的特征向量
    • (4)$\sigma$ 的属于不同特征根的特征向量是正交的
    • (5)若 W 是 $\sigma$ 的不变子空间，则 $W^{\perp}$ 仍是 $\sigma$ 的不变子空间
    • (6)必存在一组标准正交基，使 $\sigma$ 对这组基的矩阵是对角阵

矩阵的奇异值分解与广义逆

  • 定理：设 $A \in C^{m*n}$，$rank(A) = r$，则 $AA^H$ 与 $A^HA$ 各有r个正的特征值，而且对应相等

  • 定义：设 $A \in C^{mn}$，$rank(A) = r$，$A^HA$ 的特征值是 $\lambda_1 \geq \lambda_2 \geq … \geq \lambdar > \lambda{r+1} = … = \lambda_n = 0$，则称 $\mu_i = \sqrt{\lambda_i}(i = 1, 2, …, n)$ 是 A 的奇异值，其中 $\mu_1, …, \mu_r$ 称为 A 的*正奇异值

埃米尔特矩阵的奇异值恰是其特征值的绝对值

  • 定理：设 $A, B \in C^{m*n}$，若 A 与 B 酉等价，则 A 与 B 有相同的奇异值

A 与 B 酉等价，即存在两个酉阵 S 和 T，使 B = SAT

  • 定理(奇异值分解定理)：设 $A \in C^{mn}, rank(A) = r$，若 A 的正奇异值按降序排列为 $\mu_1 \geq \mu_2 \geq … \geq \mu_r > 0$，则存在m阶酉阵U和n阶酉阵V，使 $U^HAV = \begin{matrix} \Delta & 0 \ 0 & 0 \end{matrix} = D \in C^{mn}$，其中 $\Delta = diag(\mu_1, \mu_2, …, \mu_r)$

$A = UDV^H$ 时称这个分解为 A 的奇异值分解

  • 定理：设 $A \in R^{m*n}, rank(A) = r$，若 A 的正奇异值按降序排列为 $\mu_1 \geq \mu_2 \geq … \geq \mu_r > 0$，则存在m阶正交矩阵P和n阶正交矩阵Q，使 $P^TAQ = \begin{matrix} \Delta & 0 \ 0 & 0 \end{matrix}$，其中 $\Delta = diag(\mu_1, \mu_2, …, \mu_r)$

  • 定义：设 $A \in C^{m*n}$，若存在矩阵 X，使得 $AXA = A, XAX = X, AX = (AX)^H, XA = (XA)^H$(Penrose方程)，则称 X 是 A 的广义逆矩阵

  • 定理：设 $A \in C^{m*n}, rank(A) = r$，则 A 的广义逆矩阵存在并且唯一，当 $A = U \begin{matrix} \Delta & 0 \ 0 & 0 \end{matrix} V^H$ 为 A 的奇异值分解时，A 的广义逆矩阵 $A^+$ 为 $$A^+ = V \begin{matrix} \Delta^{-1} & 0 \ 0 & 0 \end{matrix} U$$

$A^+$ 具有以下性质：

  • (1)$(A^+)^+ = A, (A^H)^+ = (A^+)^H$
  • (2)$A^{-1}$ 存在时，$A^+ = A^{-1}$
  • (3)$A^+ = (A^HA)^+A^H = A^H(AA^H)^+$
  • (4)$(A^HA)^+ = A^+(A^H)^+$
  • (5)设 $A^H = A, A^2 = A$，则 $A^+ = A$
  • (6)$AA^+$ 与 $A^+A$ 均为半正定埃米尔特矩阵
  • (7)$rank(A) = rank(A^+) = rank(A^+A) = rank(AA^+)$

  • (8)设 $A \in C^{m*n}$，则 $rank(A) = m - rank(E_m - AA^+) = n - rank(E_n - A^+A)$

  • 定理：设线性方程组 $Ax=b$ 有解，则它的全部解可表示为 $x = A^+b + (E_n - A^+A)\alpha$($\alpha$ 为任意n维列向量)

  • 定理：线性方程组 $Ax=b$ 的全部最小二乘解为 $\xi = A^+b + (E_n - A^+A)\alpha$($\alpha$ 为任意n维列向量)

引用

  1. 《高等代数与解析几何》，王心介，科学出版社